Các đời cụ Huấn, ông Giám, cha Văn Thông nhờ Phương hiển quý mà đều được tặng làm Đặc tiến Vinh lộc đại phu Tả đô đốc. Mẹ là Ngụy thị được tặng làm Nhất phẩm phu nhân. [3]

Nguyên phối Sư thị được phong Nhất phẩm phu nhân, vợ sau là Kỳ thị, Vương thị. Sư thị sanh Mã Đống, được làm đến Úy Châu thủ bị, giai Đô đốc. Kỳ thị sanh Mã Xuân, được làm đến Vệ chỉ huy. Vương thị sanh Mã Lâm, được làm đến Tổng binh. Lâm chỉ huy Bắc lộ quân trong trận Tát Nhĩ Hử, thua chạy về Khai Nguyên, rồi tử chiến ở đấy. Cố sự được chép phụ vào liệt truyện của cha. [2] [3]

Lâm có 5 con trai: Nhiên, Dập, Quýnh, Hoảng, Biểu. Nhiên, Dập mất trong trận Tát Nhĩ Hử. Quýnh được làm đến Tổng binh. Hoảng được làm đến Tổng binh, Biểu được làm đến Miện Dương Châu đồng tri, đều mất về tay nghĩa quân nông dân. [2]

Gia đình Phương 3 đời làm tướng, con và cháu đều mất vì quốc nạn. [2]